Deep Learning PSPNet으로 뇌종양을 검출해 보았다 (colab 환경) 이번은 Semantic Segmentation의 PSPNet에서 뇌의 MRI 이미지의 데이터 세트를 학습시켜 가시화까지 실시했습니다. kagge에서 공개된 뇌의 MRI 데이터 세트( )를 사용했습니다. 추출된 2048×60×60의 특징 맵을 5개로 분기시켜 1개는 그대로 나머지는 4개는 3. 업 샘플링하여 4 개의 특징 맵을 512 × 60 × 60으로 설정 하나 놓은 2048×60×60의 ... PyTorchSemanticSegmentationpspnetDeep Learning Simple Network 구현하기 필요한 모듈을 로드하고, 데이터셋을 다음과 같이 불러올 수 있다. 아래와 같은 훈련 데이터셋의 첫 번째 이미지(그래프)를 얻을 수 있다. 앞서 살펴본 MNIST 데이터를 처리할 수 있는 신경망을 만들어보도록 하자. 우선 신경망을 구축하기 위해서는 Layer 개수와, Layer별 노드 수를 설정해서(hyperparameter) 이에 맞는 Weight matrix, Bias matrix 변수를 ... Deep LearningDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 3 이를 통해 기울기가 지나치게 크면 실제 값과 예측 값의 오차가 커지고, 기울기가 지나치게 작아도 실제 값과 예측 값의 오차가 커진다는 것을 알 수 있게 되었습니다. 이 부분에 해당하는 cost(W)가 가장 최소값을 가지게하는 W를 찾는 것이 목표입니다. cost(W) cost(W)를 최소화하는 W가 임의의 값을 가지게 되는 4가지 경우에 대해서 그래프 상으로 접선의 기울기를 보여줍니다. 접선... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 2 이에 대한 답변을 우리는 쉽게 생각할 수 있지만, 우리는 모델을 사용하여서 몇 점을 맞을 지 예측하고 싶은 것이며, 이를 위해 모델에 데이터를 학습시키는 과정을 거치며, 이때 사용되는 데이터 셋을 훈련 데이터셋이라고 하며, 추가적으로 이 모델이 얼마나 잘 작동하는지 테스트 할 필요성이 있기에 이때 사용되는 데이터셋이 테스트 데이터 셋이라고 합니다. 우리가 학습을 하는 목표는 이러한 4개의 점... 모두를위한딥러닝Deep LearningPyTorchDeep Learning [밑바닥부터 시작하는 딥러닝] 6. 학습 관련 기술들 part1 - 매개변수 갱신 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용 SGD의 수식에서 알 수 있다시피 SGD는 기울어진 방향으로 일정 거리만 가겠다는 단순한 방법임 구현은 다음과 같다. 함수에서는 정의에서의 '성질'을 '기울기' 라고 해석할 수 있다. 등방성 함수의 예시는 다음과 같다. 이 함수의 기울기는 다음과 같다. 등방성 함수는 각 위치에서 기울어진 방향의 본래의 최솟값을 가리킴을 알 수... 모멘텀Deep Learningadam확률적 경사 하강법AdaGrad딥러닝momentumDeep Learning from ScratchSGDAdaGrad 텐서(Tensor)의 이해 최근의 모든 머신 러닝 시스템은 일반적으로 텐서를 기본 데이터 구조로 사용한다. 데이터를 위한 컨테이너라고 생각하면된다. 텐서의 특성 텐서의 각 축을 따라 얼마나 많은 차원이 있는지를 나타낸 튜플 넘파이 배열에서는 shape을 통해 확인할수있다. 텐서에 포함된 데이터 타입이다. dtpye 속성으로 데이터를 확인할 수 있다. 1. 스칼라(0D Tensor) 스칼라의 축의 개수는 0개이다. 2.... Deep LearningDeep Learning Hands-on ML Ch 11: Deep Neural Network 예시: logistic regression 에서 입력이 커지면 0이나 1로 수렴해서 기울기가 거의 0에 가까워지기 때문에 이 거의 없는 gradient 가 backprop 되면서 아래쪽 층에는 아무것도 전달되지 않게 됨. 각 층의 연결 가중치를 무작위로 초기화 하는 방법을 제안 (Xavier Initialization) ReLU activation function 의 경우 He Initial... CNNDeep LearningCNN [DL] 손글씨 숫자 인식 이번에는 이미 학습된 매개변수를 사용하여 학습 과정을 생략하고, 추론 과정만 구현 이 추론 과정을 신경망의 순전파(forward propagation)이라고도 한다. MINIST 데이터셋은 손글씨 숫자 이미지 집합으로, 기계학습 분야세어 유명한 데이터셋이다. 훈련 이미지(train set)가 60000장, 시험 이미지(test set)은 10000장 준비되어 있다. 일반적으로 이 훈련 이미지... mnistDeep Learningmachine learningDeep Learning 밑바닥부터 시작하는 딥러닝 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습할 수 있다. 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 데이터(입력)에서 목표한 결과(출력)를 사람의 개입 없이 얻는다는 의미 신경망은 모든 문제를 주어진 데이터 그대로를 입력 데이터로 활용해 'end-to-end'로 학습할 수 있다. 신경망 성능의 '나쁨'을 나타내는 지표 -> 현재의 신경망이... Deep LearningbookDeep Learning Deep Learning day 6 CIFAR10 dataset imports 데이터 적재 데이터 시각화 데이터 전처리 모델 생성 모델 컴파일 모델 학습 테스트 데이터에서 검증 가중치 초기값 변경 배치 정규화 Batch 사이즈 조정... Deep LearningDeep Learning [DL] AND / NAND / OR 가중치 편향 구현 밑바닥부터 시작하는 딥러닝1 책을 공부하면서 (개인 책이 아니기 때문에) 메모할 내용들을 여기에 적기위해서 작성 내용은 퍼셉트론(2장) 부분을 공부 중에 있음 가중치 (weight) w1, w2라고 하는 가중치는 각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수 편향(bias) 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수 XOR 게이트 XOR은 위 그래프처럼 x1과 x2... Deep Learningmachine learningPerceptronDeep Learning
PSPNet으로 뇌종양을 검출해 보았다 (colab 환경) 이번은 Semantic Segmentation의 PSPNet에서 뇌의 MRI 이미지의 데이터 세트를 학습시켜 가시화까지 실시했습니다. kagge에서 공개된 뇌의 MRI 데이터 세트( )를 사용했습니다. 추출된 2048×60×60의 특징 맵을 5개로 분기시켜 1개는 그대로 나머지는 4개는 3. 업 샘플링하여 4 개의 특징 맵을 512 × 60 × 60으로 설정 하나 놓은 2048×60×60의 ... PyTorchSemanticSegmentationpspnetDeep Learning Simple Network 구현하기 필요한 모듈을 로드하고, 데이터셋을 다음과 같이 불러올 수 있다. 아래와 같은 훈련 데이터셋의 첫 번째 이미지(그래프)를 얻을 수 있다. 앞서 살펴본 MNIST 데이터를 처리할 수 있는 신경망을 만들어보도록 하자. 우선 신경망을 구축하기 위해서는 Layer 개수와, Layer별 노드 수를 설정해서(hyperparameter) 이에 맞는 Weight matrix, Bias matrix 변수를 ... Deep LearningDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 3 이를 통해 기울기가 지나치게 크면 실제 값과 예측 값의 오차가 커지고, 기울기가 지나치게 작아도 실제 값과 예측 값의 오차가 커진다는 것을 알 수 있게 되었습니다. 이 부분에 해당하는 cost(W)가 가장 최소값을 가지게하는 W를 찾는 것이 목표입니다. cost(W) cost(W)를 최소화하는 W가 임의의 값을 가지게 되는 4가지 경우에 대해서 그래프 상으로 접선의 기울기를 보여줍니다. 접선... 모두를위한딥러닝Deep LearningPyTorchDeep Learning 모두를 위한 딥러닝 시즌2 - PyTorch Lab 2 이에 대한 답변을 우리는 쉽게 생각할 수 있지만, 우리는 모델을 사용하여서 몇 점을 맞을 지 예측하고 싶은 것이며, 이를 위해 모델에 데이터를 학습시키는 과정을 거치며, 이때 사용되는 데이터 셋을 훈련 데이터셋이라고 하며, 추가적으로 이 모델이 얼마나 잘 작동하는지 테스트 할 필요성이 있기에 이때 사용되는 데이터셋이 테스트 데이터 셋이라고 합니다. 우리가 학습을 하는 목표는 이러한 4개의 점... 모두를위한딥러닝Deep LearningPyTorchDeep Learning [밑바닥부터 시작하는 딥러닝] 6. 학습 관련 기술들 part1 - 매개변수 갱신 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용 SGD의 수식에서 알 수 있다시피 SGD는 기울어진 방향으로 일정 거리만 가겠다는 단순한 방법임 구현은 다음과 같다. 함수에서는 정의에서의 '성질'을 '기울기' 라고 해석할 수 있다. 등방성 함수의 예시는 다음과 같다. 이 함수의 기울기는 다음과 같다. 등방성 함수는 각 위치에서 기울어진 방향의 본래의 최솟값을 가리킴을 알 수... 모멘텀Deep Learningadam확률적 경사 하강법AdaGrad딥러닝momentumDeep Learning from ScratchSGDAdaGrad 텐서(Tensor)의 이해 최근의 모든 머신 러닝 시스템은 일반적으로 텐서를 기본 데이터 구조로 사용한다. 데이터를 위한 컨테이너라고 생각하면된다. 텐서의 특성 텐서의 각 축을 따라 얼마나 많은 차원이 있는지를 나타낸 튜플 넘파이 배열에서는 shape을 통해 확인할수있다. 텐서에 포함된 데이터 타입이다. dtpye 속성으로 데이터를 확인할 수 있다. 1. 스칼라(0D Tensor) 스칼라의 축의 개수는 0개이다. 2.... Deep LearningDeep Learning Hands-on ML Ch 11: Deep Neural Network 예시: logistic regression 에서 입력이 커지면 0이나 1로 수렴해서 기울기가 거의 0에 가까워지기 때문에 이 거의 없는 gradient 가 backprop 되면서 아래쪽 층에는 아무것도 전달되지 않게 됨. 각 층의 연결 가중치를 무작위로 초기화 하는 방법을 제안 (Xavier Initialization) ReLU activation function 의 경우 He Initial... CNNDeep LearningCNN [DL] 손글씨 숫자 인식 이번에는 이미 학습된 매개변수를 사용하여 학습 과정을 생략하고, 추론 과정만 구현 이 추론 과정을 신경망의 순전파(forward propagation)이라고도 한다. MINIST 데이터셋은 손글씨 숫자 이미지 집합으로, 기계학습 분야세어 유명한 데이터셋이다. 훈련 이미지(train set)가 60000장, 시험 이미지(test set)은 10000장 준비되어 있다. 일반적으로 이 훈련 이미지... mnistDeep Learningmachine learningDeep Learning 밑바닥부터 시작하는 딥러닝 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습할 수 있다. 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 데이터(입력)에서 목표한 결과(출력)를 사람의 개입 없이 얻는다는 의미 신경망은 모든 문제를 주어진 데이터 그대로를 입력 데이터로 활용해 'end-to-end'로 학습할 수 있다. 신경망 성능의 '나쁨'을 나타내는 지표 -> 현재의 신경망이... Deep LearningbookDeep Learning Deep Learning day 6 CIFAR10 dataset imports 데이터 적재 데이터 시각화 데이터 전처리 모델 생성 모델 컴파일 모델 학습 테스트 데이터에서 검증 가중치 초기값 변경 배치 정규화 Batch 사이즈 조정... Deep LearningDeep Learning [DL] AND / NAND / OR 가중치 편향 구현 밑바닥부터 시작하는 딥러닝1 책을 공부하면서 (개인 책이 아니기 때문에) 메모할 내용들을 여기에 적기위해서 작성 내용은 퍼셉트론(2장) 부분을 공부 중에 있음 가중치 (weight) w1, w2라고 하는 가중치는 각 입력 신호가 결과에 주는 영향력(중요도)을 조절하는 매개변수 편향(bias) 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수 XOR 게이트 XOR은 위 그래프처럼 x1과 x2... Deep Learningmachine learningPerceptronDeep Learning